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(54) Title: METHOD FOR ESTIMATING MOTION BETWEEN TWO IMAGES 
(54) Titre: PROCEDE D'ESTIMATION DU MOUVEMENT ENTRE DEUX IMAGES 




The invention concerns a method for estimating motion between two digital images, Ii and b, with brightness Yi and Y2, for 
generating, for each point of co-ordinates x,y of image I2 a motion vector 3(x,y)«(dx,dy) so as to form an image Xi from image 1 1 with 
brightness '?2(x,y)=Yi(x-dx»y-dy) which is an approximation of image I2. Said method consists in using of a model of finite elements and a 
differential method for determining the motion field of image 12. The invention is characterised in that the mesh associated with the model 
of finite elements is refined as the motion estimation is being carried out. 



(57) Abrege 

La pr^ente invention conceme un proc^d^ d'estimation du mouvement entre deux images numdriques, Ii et I2, de luminance Yi 
et Y2, destine h g6n6rer, pour chaque point de coordonn^es x,y de Timage I2 un vecteur d6placement ?(x,y)=(dx,dy) de mani^re a former 
une image 12^ paitir de rimage I,, de luminance Y2(x,y)=Y,(x-<ix,y-dy), qui soit une approximation de IMmage I2. Ce procedd prdvoit 
utilisation d un modele d 6I6ments finis et une m6thode diffdrentielle pour determiner le champ de mouvement de Timage 12 Selon 
I invention, le maillage se rapportant au module d^eidments finis est affin6 au fur et h mesure de Testimation de mouvement 



UNIQUEMENT A TITRE D'INFORMATION 

interriationale's en ve^^ ^""^ ^^^^^ couverture des brochures publiant des demandes 



AL Albanie 

AM AnT)6nie 

AT Autrichc 

AU Australie 

AZ Azerbaidjan 

BA Bosnie-Herz^govine 

BB Barbade 

BE Belgique 

BF Burkina Faso 

BG Bulgarie 

BJ B6nin 

BR Br£sil 

BY B61arus 

CA Canada 

CF Rdpublique cencrafricaine 

CG Congo 

CH Suisse 

CI Cdte d'Tvoire 

CM Cameroun 

CN Chine 

CU Cuba 

CZ R6publique tch^ue 

DE Allemagne 

DK Danemaric 

EE Estonia 



ES Espagne LS 

FI Finlande lT 

FR France LU 

GA Gabon LV 

GB Royaume-Uni MC 

GE Gdorgie MD 

GH Ghana mG 

GN Guinte mK 

GR Gi^ce 

HU Hongrie ML 

IE Irlandc mn 

IL, Israel MR 

IS Islande mW 

IT Italic MX 

JP Japon NE 

KE Kenya nL 

KG Kirghizisian NO 

KP Rdpublique populairc NZ 

d£mocraiique dc Cortfe PL 

KR R6publique de Cordc PT 

KZ Kazakstan rq 

LC Saintc-Lucie ru 

LI Liechtenstein SD 

LK Sri Lanka SE 

LR Liberia SG 



Lesotho 


SI 


Sloven ie 


Lituanie 


SK 


Slovaquie 


Luxembourg 


SN 


Stfn^gal 


Lettonie 


sz 


Swaziland 


Monaco 


TD 


Tchad 


Rdpublique de Moldova 


TG 


Togo 


Madagascar 


TJ 


Tadjikistan 


Ex-R6publique yougoslavc 


TM 


Turkm6nistan 


de Mac6doinc 


TR 


Turquie 


Mali 


TT 


Trinitd-et-Tobago 


Mongol ie 


UA 


Ukraine 


Mauritania 


UG 


Ouganda 


Malawi 


US 


Eiais-Unis d'Amdrique 


Mex ique 


uz 


Ouzb6kistan 


Niger 


VN 


Vict Nam 


Pays-Bas 


vu 


Yougoslavie 


Norvfege 


zw 


Zimbabwe 



Nouvelle-Zdlande 
Pologne 
Portugal 
Roumanie 

F6d6ration de Russie 

Soudan 

Sufede 

Singapour 



wo 00/14969 




PCT/FR99/02076 



PROCEDE D' ESTIMATION DU MOUVEMENT 
ENTRE DEXJX IMAGES 



La presente invention concerne un procede d * estimation 
du mouvement entre deux images numeriques. 

Le mouvement entre deux images successives, Ii et I2, 
se definit generalement sous la forme d'un champ de 
mouvement associe a 1 * une ou 1 ' autre des images Ii, I2 
et constitue de vecteurs deplacement se rapportant 
chacun a un point de 1 * image concernee. Le vecteur 
deplacement est un vecteur a deux dimensions 
representatif de la difference de position entre le 
pixel de 1 ' image Ii et le pixel associe de 1 ' image I2 
se rapportant au meme point physique de la scene 
f ilmee . 



Une estimation de mouvement est utile dans les domaines 
du traitement de 1 ' image necessitant la connaissance 
des mouvements ou des disparites entre deux images. On 
peut citer, a titre d'exemples, les domaines 
d ' applications suivants : 

la compression d' images : le procede d' estimation 
est utilise pour limiter la quantite de donnees pour 
coder une image, les images etant def inies les une 
par rapport aux autres ; 

la compression de donnees dans des espaces de 
dimension superieure a 2 ; 

le codage video : le champ de mouvem.ent defini a 
partir d' images deja decodees est alors utilise pcur 
la prediction de 1 * image suivante; 



wo 00/14969 ^ ^ PCT/FR99/02076 



- 1 ' imagerie medicale : le procede d ' estimation du 
mouvement entre deux images est utilise pour faire 
une analyse de mouvement du coeur par exemple; 

- la telesurveillance : le procede peut servir au 
controle du trafic routier; 

- la reconstruction tridimensionnelle a partir 
d' images multi-vues : le procede est utilise pour 
estimer les disparites entre les differentes vues . 

Pour obtenir un tel champ de mouvement, il est connu de 
decomposer 1 ' image en elements finis . Ces elements 
finis qui peuvent etre par exemple des triangles ou des 
quadrangles, sont determines par un maillage dont les 
noeuds correspondent aux sommets des elements finis. Un 
vecteur deplacement est calcule pour chaque noeud du 
maillage . Puis , par le biais d * une f onction 
d' interpolation, on peut en deduire un vecteur 
deplacement pour chaque point de 1 • image consideree. Le 
champ de mouvement est ainsi determine par un modele 
d' elements finis, definissant le maillage utilise pour 
partitionner 1' image en elements finis et la f onction 
d' interpolation permettant de calculer le vecteur 
deplacement en tout point de 1' image. 

Le maillage utilise peut etre regulier ou non et doit 
etre choisi suffisamment dense pour modeliser au mieux 
le mouvement entre les deux images sans toutefois 
necessiter une quantite de calculs ou de donnees a 
transmettre trop impcrtante. Ce choix est effectue une 
fois pour toutes en debut de procede et ce maillage 
reste generalement le meme tout au long de 
1 ' estimation . 
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Le caicul des vecteurs deplacement des noeuds du 
maillage peut etre effectue selon diverses methodes. II 
existe tout d * abord les methodes dites de mise en 
correspondance , ou "matching", consistant a tester un 
ensemble discret de valeurs possibles de vecteurs 
deplacement pour chaque noeud du maillage et a retenir 
les meilleurs vecteurs selon un critere donne . Une 
seconde methode dite par transformee consiste a 
utiliser les proprietes de la transformee de Fourier et 
de ses extensions afin de convertir le mouvement en un 
dephasage dans 1 ' espace transforme. Enfin, il existe 
une troisieme methode dite dif f erentielle permettant de 
determiner les vecteurs deplacement par optimisation 
d'un critere mathematique (par exemple, une erreur 
quadratique entre 1 * image et sa valeur predite avec le 
champ de mouvement). Cette methode est la plus utilisee 
pour 1' estimation de mouvement avec modelisation par 
elements finis. Une methode dif f erentielle classique 
pour 1' optimisation des vecteurs deplacement est la 
methode de Gauss-Newton. La presente demande concerne 
plus particulierement la famille de precede 
d' estimation de mouvement utilisant un modele 
d' elements finis et une methode dif f erentielle pour 
determiner le champ de mouvement. 



Bien que tres repandu, ce type de precede presente 
cependant quelques inconvenients . Le maillage choisi en 
debut de precede peut se reveler inapproprie par 
rapport au contenu semantique de I'image/ certaines 
zones de 1' image meritant un maillage plus dense et 
d'autres un maillage plus aere . Par ailleurs^ sous 
I'effet du champ des vecteurs deplacement des noeuds du 
maillage, le maillage initial sur 1' image de depart. 
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par example 12, se transforme en un nouveau inaillage 
sur 1' autre image, par exemple II. II peut alors se 
produire des situations pathologiques au niveau du 
nouveau maillage telles que : 

- des retournements d' elements finis : des elements 
finis se retournent et viennent en recouvrir d'autres, 
detruisant ainsi la propriete de partition du domaine 
de 1' image que doit verifier tout maillage, 

- debordement des noeuds peripheriques du maillage 
deplace apres application des vecteurs deplacement au- 
dela du domaine de 1' image II: certains pixels de 
1' image 12 peuvent etre associes a des pixels de 
1' image II situes en dehors du domaine de 1' image II. 
Ceci n'est pas forcement genant mais il peut etre 
interessant de forcer les noeuds peripheriques du 
maillage deplace a rester dans ie domaine de 1' image 
II. 



Un but de 1' invention est de proposer un precede 
d' estimation de mouvement dans lequel le maillage est 
optimise au cours de 1' estimation de m.aniere 'a obtenir 
en fin de procede un maillage adapte au contenu 
semantique des images. A cet effet, on prevoit un 
affinage local des elements finis durant 1' estimation 
de mouvement . 



Un autre but de 1' invention est d'ameliorer 
I'efficacite de la methode de Gauss Newton pour 
1' optimisation des vecteurs deplacement des noeuds du 
maillage. A cet effet, on prevoit d'effectuer cette 
optimisation sur plusieurs niveaux de resolution des 
images . 
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Enfin, un autre but de 1' invention est de proposer un 
procede d' estimation de mouvement permettant d'eviter 
les situations pathologiques precitees. A cet effet, on 
prevoit selon 1' invention de rajouter, au cours de 
I'etape d' optimisation des vecteurs deplacement, des 
contraintes pour eviter de telles situations. 

Aussi, 1' invention a pour objet un procede d' estimation 
du mouvement entre deux images numeriques, et de 

luminance et Y2 f destine a generer, pour chaque 

point de coordonnees x,y de 1 ' image I2 un vecteur 
deplacement d(x,y)=(dx,dy) de maniere a former une image I2 
a partir de 1' image Ii, de luminance Y2(x,y)=Yi(x-dx,y-dy), 
qui soit une approximation de 1' image I2, 
caracterise en ce qu'il comporte les etapes suivantes: 

(a) - definir un modele d' elements finis initial 
comportant un maillage dont les noeuds sont des points 
de 1' image I2, un vecteur deplacement a chaque noeud 

_dudit maillage, et une formule d' interpolation pour 
calculer la valeur du vecteur deplacement de chaque 
point de 1' image I2 a partir des valeurs des vecteurs 
deplacements des noeuds de la maille a laquelle il 
appartient , 

(b) - optimiser la valeur des vecteurs deplacement du 
modele selon une methode dif f erentielle , 

(c) - calculer un ecart E entre 1' image I2 et 1 ' image 
I2 pour chaque element fini ou maille, 

(d) - operer un maillage plus fin sur une fraction 
discrete de 1' ensemble des elements finis determinee 
selon un critere relatif aux ecarts E, et attribuer un 
vecteur deplacement a chaque nouveau noeud cie maillage. 
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(e) - repeter les etapes (b) , (c) et (d) sur le modele 
d' elements finis obtenu au terme de I'etape (d) 
precedente, jusqu'a satisfaire un critere d'arret. 



Selon un mode de realisation ameliore, on definit en 
outre, pour chaque image numerique Ij et I2, un 
ensemble de R images I[ de niveau de resolution r et de 
luminance Yj^ avec r prenant les valeurs (0,...,R-1) et 
i les valeurs 1 et 2, les images I? et I« correspondant 
aux images numeriques Ii et I2, et on effectue les 
etapes (b) a (e) pour chaque niveau de resolution r, a 
partir du niveau r=R-l jusqu'au niveau r=0 . 

Enfin, selon un mode de realisation prefere, on prevoit 
rajouter des contraintes sur le deplacement des 
elements finis au moment de 1' optimisation des vecteurs 
deplacement de maniere a eviter le retournement des 
elements finis. Selon un autre mode de realisation, on 
prevoit egalement d'introduire des contraintes pour 
eviter le debordement du maillage obtenu apres 
application des vecteurs deplacement au-dela du domaine 
de 1' image II. 

D'autres caracteristiques et avantages de 1 ' invention 
apparaitront a la lecture de la description detaillee 
qui suit et qui est faite en reference aux dessins 
annexes, dans lesquels: 

- la figure 1 represente un schema d'un premier 
mode de realisation du precede d' estimation de 
mouvement selon 1' invent ion; 

- la figure 2 illustre I'etape (d) du procede de 
1' invention; et 
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- la figure 3 represents un schema d'un mode de 
realisation ameliore du procede d' estimation de 
mouvement selon 1' invention. 

On considere deux images numeriques Ii et I2 de 
luminance respective Yi et Y2 - Le procede de 
1' invention consiste a generer, pour chaque point P de 
coordonnees (x,y) dans 1' image I2, un vecteur 
deplacement d(x,y)=(dx,dy). - Ce vecteur est defini comme 
etant le vecteur permettant de construire a partir de 
1' image Ii, une image I2 de luminance Y2(x,y) =Yi(x-dx,y-dy) 
qui soit une approximation de I2- Les deplacements sont 
ainsi definis de 1' image Ii vers 1' image I2. 

Le champ de mouvement recherche est defini par un 
modele d' elements finis. Dans la suite de 1' expose, on 
considere que les elements finis sont des triangles 
sans qu'on puisse y voir une limitation de la portee de 
la presente demande a cette forme d' elements finis. Le 
modele d' elements finis comporte par consequent un 
maillage triangulaire , des vecteurs deplacement definis 
aux noeuds du maillage, lesquels noeuds correspondent 
aux sommets des triangles, et une formule 
d' interpolation pour calculer le vecteur deplacement 
des points a I'interieur des triangles. 

La formule d ' interpolation utilisee pour calculer le 
champ de mouvement en tout point du domaine de 1 ' image 
I2 est la suivante: 

si on considere le point P de coordonnees (x,y) dans 
1' image I2 appartenant au triangle e de sommets Pi, Pj 
et Pk de coordonnees respectives (Xi,yi), (xj^yj) et (Xk^yO, son 
vecteur deplacement est egal a 
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d(x,y)= Y.w\(^.yU(x^,yi) 
i=i,j,k 

ou V|/f represente une fonction de base associee au 
triangle e. 

Dans le cas d'une interpolation affine, les vf(x,y) 
representent les coordonnees barycentriques du point P 



dans le triangle e de sommets Pi, P^, 
sont definies par la relation suivante 



Ces fonctions 



10 



15 



Vf(x,y) = a, -fpiX + y,y 
V|/f (x,y) = 0 



(x,y) ee 
etai,p,,y, 
(x,y) €e 



soi 



it r:(-ry)- ^jy^"^'^y'"'^i~y'^)^^^^k -Xi)y 

^jVk - XkYj + x^yi - xjyk + Xjyj - Xjy, 



Les fonctions affines v|/|(x,y) et v|;^(x,y) se deduisent de 
la fonction M^f(x,y) en permutant circulairement les 
indices i,j,k. On peut egalement utiliser des modeles 
d' elements finis plus evolues, les fonctions V|/ pouvant 
alors etre etendues a des polynomes de degre n>2 mais 
la formule d' interpolation des vecteurs deplacement 
fait alors intervenir des derivees premieres, 
secondes... Un choix divers de modeles d' elements finis 
est propose dans I'ouvrage '^Handbook of Numerical 
Analysis" de P.G Ciarlet et J.L Lions, Volume 2, pp 59- 
99, Ed. North Holland. 



Selon 1' invention, au fur et a mesure de 1' estimation 
de mouvement, on optimise la valeur des vecteurs 
deplacement des noeuds du maillage appeles vecteurs 
nodaux, et on densifie localement le maillage lorsque 
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c'est necessaire. Avantageusement , cette optimisation 
sera effectuee sur plusieurs niveaux de resolution en 
partant d * un niveau de resolution faible. 

Selon un premier mode de realisation illustre par la 
figure 1, le procede de 1' invention comporte cinq 
etapes referencees (a) a (e) , 

Selon I'etape (a), on definit un modele d'elements 
finis initial en selectionnant des points de 1 ' image I2 
selon un maillage triangulaire initial. Les noeuds du 
maillage representent les sommets des triangles 
(elements finis) du modele. Ce maillage peut etre 
defini de maniere quelconque, par exemple en fonction 
des besoins de 1 * application ou de connaissances 
prealables ou du mouvement deja calcule entre deux 
images precedentes de la meme sequence video. Si aucune 
donnee concernant le maillage initial n'est specifiee, 
on utilise un maillage regulier en quinconce. Les 
mailles sont alors des triangles. Un vecteur 
deplacement de valeur nulle est alors associe a chaque 
noeud du maillage. La formule d' interpolation definie 
precedemment est egalement une donnee du modele 
initial . 

Selon I'etape (b) , on optimise la valeur des vecteurs 
deplacement du modele selon une methode dif f erentielle, 
par exemple la methode de Gauss-Newton ou son extension 
de Marquardt. Cette optimisation peut etre soit libre, 
c'est-a-dire sans contraintes imposees sur les valeurs 
possibles des vecteurs nodaux, soit avec contraintes. 
Les vecteurs nodaux designent les vecteurs deplacement 
des noeuds du maillage. L ' optimisation avec contraintes 
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est directement liee a 1 ' optimisation libre et fait 
I'objet d'un mode de realisation developpe plus loin- 
La technique d ' optimisation libre employee ici exploite 
les caracteristiques interessantes de la methode de 
Gauss-Newton (convergence rapide de 1 'optimum) et de la 
methode du gradient avec pas adaptatif (convergence 
globale vers un optimum local) pour resoudre le systeme 
lineaire a suivre. Cette technique est une correction 
iterative des vecteurs deplacement d(x,y) permettant 
d'obtenir des le depart une approximation grossiere du 
mouvement. Le nombre d' iterations k pour cette 
optimisation des vecteurs deplacement est soit specifie 
par 1' utilisateur en debut de precede, soit fonction 
d'un seuil lie a la variation maximale entre deux 
valeurs consecutives de vecteurs nodaux pour deux 
iterations successives. Nous developpons ci-apres 
1' extension Marquardt de la methode d' optimisation de 
Gauss Newton, 

L' expression des corrections 5D'^'^* a 1' iteration k+l 
des vecteurs deplacement selon cette methode est donnee 
par le systeme systeme lineaire suivant : 

D^^^^ = -[r*^ -f a.I^Nf'.VE*^ ^ -H,5D*^^' = VE^ (1) 



avec 



- u une matrice colonne de 2N elements ccmprenant les 
composantes dx et dy des vecteurs nodaux a 1' iteration 
k-fl, N etant le nombre de noeuds du maillage a I'etape 
courante; 
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- D*^ une matrice colonne de 2N elements comprenant les 
composantes dx et dy des vecteurs nodaux a 1' iteration 
k; 



- H = fR''+a.I 



2N 



- la matrice identite de dimension 2N; 



10 



15 



VE'' = 



matrice colonne de 2N elements dent 

N elements V,^ j^E^ et N elements V^. ^E^ , n 
designant un noeud du maillage et 
prenant tour a tour les valeurs (l.,.N); 
avec 



Vx.„E''=2. X Z DFD,(x,y). 

e€supp(n)(x,y)ee 



aii(x-d^,y-dy) 
dx 



Vy,„E''=2. X Z DFDk(x,y).-l^— ^^^-^.v|/^„(x,y) 

e Gsupp(n) (x»y ) ee ^ 

ou DFDk(x,y) = Y2(x,y)- Y,(x-dx,y-dy) a 1' iteration k 
ou supp(n) represente le support de la fonction de 
base Vn(^'y) attachee au noeud c'est-a-dire 
1' ensemble des triangles ayant le noeud n pour 
sommet ; 



20 



une matrice carree de dimension 2K 



ou r!;;- = 2. x 2 ( 

eesupp<mn)(x.y)€e 



aii(x-d^,y-d ) ; 

T- —) •n'm(X0)-»J'n(X'y) 

dx 
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e esupp(mn)(x,y) ee dy ^•^m^^'-y^'- Vn^x,y) 



Rk,yx _ p k,xy 



Rk,yy_2 V V . ^^K^ -d^.y -dy) ^^ e , , e. ^ 

eesupp(mn) (x,y)ee 



OU m et n designent des noeuds du maillage et 
prennent tour a tour les valeurs (1...N) et ou 
supp(nm)=supp(n)n supp(m). 

- a = niax„(|V,E*^|.||v/„||) 

Iknll est une norme f onctionnelle de • I^es 
deux normes les plus interessantes sont: 

\Wn\\ = sup(^^y)^,„pp(„)(v|/^(x,y)| = 1 ou 



Visupp(n)j(^y)^^p^p(„) 



|supp(n)| designe le cardinal de la region discrete 
supp(n) , 

A la fin de cette phase d' optimisation, on dispose de N 
vecteurs nodaux se rapportant chacun a un noeud du 
maillage . 

Selon un mode de realisation en variante du gradient 
adaptatif , on peut egalement envisager d' utiliser une 
technique de decomposition dite "LDL" profil" en langage 
technique pour resoudre le systeme lineaire (1) et 
accelerer le traitement . Cette technique est decrite 
dans I'ouvrage intitule "Analyse numerique matricielle 
appliquee a I'art de I'ingenieur" de Theodore Lascaux, 
Tcme 1, pp 295-299, Ed. Masson,1986. 
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Selon une caracteristique importante de 1 ' invention,, le 
maillage est ensuite affine localement par division des 
triangles lorsque I'ecart entre 1 ' image I2 et 1 * image 
I2 sur ces triangles est trop eleve. C'est pourquoi, 
selon I'etape (c) du precede, on calcule un ecart E 
entre 1 ' image I2 et 1 ' image I2 pour chaque triangle e. 
L' ecart E est defini de la maniere suivante 

E = XDFD"(x,y) 

(x.y)€e 

avec DFD(x,y) = Y2(x,y)-Yi(x-d,,y-d^,) 

Bien entendu, pour calculer cet ecart pour chaque 
triangle, il faut avoir prealablement calcule la valeur 
des vecteurs deplacement de tous les points de 1' image 
I2 par interpolation a partir des vecteurs nodaux 
obtenus au terme de I'etape (b) . 

Ensuite, conformement a I'etape (d) , on affine le 
maillage sur une fraction discrete de 1' ensemble des 
triangles du modele . Cette fraction est determinee 
selon un critere relatif aux ecarts E calcules 
precedemment a I'etape (c). Pour operer cet affinage, 
on peut par exemple classer les triangles du modele par 
ordre decroissant de leurs ecarts E et subdiviser les X 
premiers triangles de ce classement en triangles de 
taille inferieure. X est une fraction predeterminee du 
nombre d'elem.ents finis dans le modele, par exemple la 
moitie . 

Pour affiner localement le maillage, cn peut egalement 
prevoir de comparer 1' ensemble des ecart.s E calcules a 
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I'etape (c) a un ecart seuil qui est fonction de la 
taille de 1' element fini considere, et de subdiviser en 
elements finis de taille infer ieure les elements finis 
dont les ecarts E sont superieurs a 1' ecart seuil. 



La subdivision d' un triangle e en quatre triangles de 
taille inferieure est illustre a la figure 2 . Le 
triangle e est defini par les trois sommets Pi, P2 et P3 
ayant pour vecteurs deplacement respectif s dj , 62 ^ . 
Pour le subdiviser en quatre, on definit trois nouveaux 
noeuds P4, P5 et Pe au milieu des trois cotes P1P3, P1P2, 
P2P3 du triangle • On attribue a chacun de ces trois 
nouveaux noeuds un vecteur deplacement egal a la 
moyenne des vecteurs deplacement des deux sommets du 
cote auquel il appartient, respectivement (dj + d3)/2, 
(dj-fd2)/2, (d2 + d3)/2. Les triangles adjacents au 
triangle e ayant pour cote P1P2, P2P3 ou P1P3 sont alors 
eux-memes subdivises en deux ou trois. 



On obtient ainsi un raodele d' elements finis dont le 
maillage a ete affine localement. Selon I'etape (e) , on 
repete ensuite les etapes (b) , (c) et (d) en prenant 
comme modele a optimiser le modele obtenu au terme de 
I'etape (d) precedente. Et, on repete cette succession 
d'etapes jusqu'a satisfaire un critere d'arret. Ce 
critere d'arret est par exemple un nombre predetermine 
d'elements finis a atteindre au terme de I'etape (d) . 

On peut egalement prevoir d'arreter le precede lorsque 
les ecarts E de 1' ensemble des elements finis du modele 
obtenu au terme de I'etape (c) precedente sent 
inferieurs a un ecart seuil. 
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Selon un mode de realisation ameliore illustre figure 
3, on effectue les etapes (b) a (e) en s'appuyant sur 
plusieurs niveaux de resolution d' images Ii et I2. 
Cette variante a pour but d'ameliorer et d'accelerer la 
convergence des calculs des vecteurs deplacement. Pour 
ce faire, on definit tout d'abord pour chaque couple 
d' images numeriques Ii et I2, un ensemble de R images I[ 
de niveau de resolution r et de luminance , r 

prenant tour a tour les valeurs (R-1, . . . 0) et i les 
valeurs (1,2) puis on effectue les etapes (b) a (e) 
pour chaque niveau de resolution r, a partir du niveau 
de resolution r-R-l jusqu'au niveau r=0. A noter que 
les images I? et I? correspondent aux images numeriques 
Ii et I2. 

En pratique, les images I[ sont obtenues par filtrage 
de 1' image Ij au moyen d ' un f litre passe-bas lineaire 
ne laissant passer que 1/2^ de la bande spectrale de 
1' image consideree dans les directions x et c'est-a- 
dire un filtre de reponse impulsionnelle hj, ayant une 
bande passante BP^= [-l/2^''"^, 1/2^*^^] dans I'espace des 
frequences normalisees [-1/2,1/2]. L'image I[ est 
definie par la relation suivante: 



Le filtre utilise est par exemple une approximation 
d'un filtre ideal et sa reponse impulsionnelle est 
definie de la maniere suivante: 



M M 



Yi^(x,y)= X ZYi(x-u,y-v)hX 



u=-M v=-M 



K^-Z- avec S= 



-M < n < M 



n=-M 



et 



= 2B.sinc(2r.E,:i) 2D 



sin2nBrn 
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16 

1 



f -r+l 



2' 

ou B et M sont des entiers naturals 
M =+00 dans le cas ideal. 



Comme indique precedemment , cette optimisation sur 
plusieurs niveaux de resolution permet d'ameliorer et 
d'accelerer la convergence des calculs des vecteurs 
deplacement. A noter que le nombre de niveaux de 
resolution R choisi peut differer du nombre d'affinages 
successifs effectues sur le maillage. 

Selon un mode de realisation prefere, on propose de 
raj outer des contraintes de compacite sur chaque 
triangle du modele de maniere a empecher le 
retournement des triangles. 

La compacite d'un triangle de sommets Pi, p^, est 
definie par la relation suivante: 

c(P,P,P,) = i:iL!M:^ 
p2(Pi,Pj,Pk) 

avec C(Pi,Pj,Pk)G ]0,1[; et 
S(Pi,Pj,Pk) et P(Pi,Pj,PO 

representant 
respectivement la surface et la perim^tre du 
triangle (Pi,Pj,Pk); 

Si on empeche la compacite d'un triangle de tendre vers 
zero, on 1' empeche ainsi de se retourner. C'est 
pourquoi, pour eviter les retournements de triangles, 
chaque triangle doit verifier la contrainte suivante : 



C(Pi + dp, ,Pj + dp, ,P,^. + dp^ ) > K *C(Pi ,Pj,PJ 
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c^K*C(Pi,Pj,P^)-C(Pi-hdp^,Pj-hdp.,P,+dp^)<0 
<=> ge(D) < 0;e = triangle(Pi,Pj,Pk) 

ou K est un parametre fixant la variation de compacite 
5 autorisee et D est le vecteur colonne des vecteurs 
deplacement des noeuds du modele. 

Selon 1' invention, on associe une telle contrainte a 
chaque triangle au moment de 1 ' optimisation des 
10 vecteurs deplacement. L' etape d' optimisation des 
vecteurs deplacement revient a un systeme du type: 

mingE(D) 
< ge(D)<0 Ve el 
D c SR^^ 

ou -E(D) represente I'ecart entre 1' image I2 et 
1' image predite I2; 
15 - ge est une contrainte liee au triangle e; 

- I est 1' ensemble des triangles du maillage. 

Pour resoudre ■ les problemes d' optimisation sous 
contraintes/ on prevoit d'utiliser la technique dite du 
Lagrangien augmente. Cette technique est decrite dans 
20 I'ouvrage intitule "'Theories et algorithmes" de Michel 
Minoux, Tome 1, pp 257-260, Dunod 1983. Cette technique 
combine deux techniques d' optimisation : 1' optimisation 
Lagrangienne et 1 ' optimisation de penalites 
exterieures . 



Selon cette technique, resoudre le systeme precedent 
revient a resoudre le systeme sans ccntraintes suivant: 

min J E(D) + 2 G(ge ( D) Ae , re ) 
V eel / 
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re est un element de penalite, 

A-e est un multiplicateur de Lagrange 

G est un Lagrangien augmente determine par la 

relation : 

\ge(D) + rege(D) si >Oetg^(D)>0 
^ege(D) sir^ =Oetge(D)>0 

0 si g,(D) < 0 



G(ge(D),Xe,re) = i 



Les contraintes ge ont ete prealablement linearisees 
par la formule de Taylor a I'ordre 1 : 

5ge 



ge(D)«g,(Pi,Pj,Pfc)+ 2] 



(Pi) 



10 



15 



20 



La methode d' optimisation est alors la suivante: 

- on initialise k=0 

- on pose X =0 et r=0, X e W"" et r e , et m designe le 
nombre de triangles du modele 

- on determine ensuite le minimum 5D'''*''(X.,r) tel que, a 
1' iteration k+1, 

-H.5D'''-' =VE''-C'y 



ou 



y''=(^ ,r) , est une matrice de ^H^^XfR^" 



C'y forme une matrice des contraintes linearisees 
ayant pour coefficients les valeurs suivantes: 
0 



1 . sin on 

[ 0 sinon 

ou e represente le triangle de scmmets Pi, P^, p^. 



Puis, on effectue la mise a jour de X par 1' algorithme 
d'Uzawa et on augmente r puis on repete 1' operation 
precedente jusqu'a ce que toutes les contraintes soient 
verifiees. On passe ensuite a 1' iteration A noter 
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que I'algorithme d'Uzawa est developpe en detail dans 
I'ouvrage intitule "Theories et algorithmes" de Michel 
Minoux, Tome 1, Dunod 1983. 



Selon un dernier mode de realisation, on peut egalement 
prevoir d' introduire des contraintes pour eviter le 
debordement du maillage obtenu apres application des 
vecteurs deplacement au-dela du domaine de 1' image II. 
Ce mode consiste a forcer les noeuds peripheriques du 
maillage a rester sur les bords de 1' image apres 
application des vecteurs deplacement. Pour cela, les 
composantes abscisses SD*^"*"^ pour les noeuds 
peripheriques sur les bords gauche et droit de 1' image 
12 sont annulees a chaque iteration k. De meme, les 
composantes ordonnees SD*'**'^ pour les bords haut et bas 
de 1' image 12 sont annulees a chaque iteration k. 



Dans le cas d'une application de codage, on prevoit 
d'associer au maillage un arbre partiellement 
quaternaire. A chaque subdivision du maillage (etape 
d) , on ajoute un niveau supplementaire dans I'arbre. 
Chaque niveau de 1 * arbre represente alors un niveau de 
maillage et chaque noeud de 1' arbre represente un 
triangle du niveau de maillage correspondant . Le train 
binaire genere pendant 1' etape de codage est obtenu par 
lecture de 1' arbre niveau par niveau. Dans ce train 
binaire, les vecteurs deplacement associes a chaque 
noeud de 1' arbre sont avantageusement codes de maniere 
dif f erentielle par rapport aux vecteurs deplacement de 
leur noeud pere lorsque ce dernier existe et sont 
ordonnances niveau par niveau. L' etape de decodage 
correspondante consiste a regenerer cet arbre a partir 
du train binaire regu en provenance du codeur. 
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RE VEND 1 CAT I ONS 



10 



15 



20 



1. Procede d ' estimation du mouvement entre deux 
images numeriques, et I2, de luminance et Y2, 

destine a generer, pour chaque point de coordonnees x,y 
de 1 ' image I2 un vecteur deplacement d(x,y)=(dx,dy) de 
maniere a former une image I2 a partir de 1' image Ii, 
de luminance Y2(x,y)=Y,(x-d,,y-dy), qui soit une 
approximation de 1' image I2, 

caracterise en ce qu'il comporte les etapes suivantes: 

(a) - definir un modele d' elements finis initial 
comportant un maillage dont les noeuds sont des points 
de 1' image I2, un vecteur deplacement a chaque noeud 
dudit maillage, et une formule d' interpolation pour 
calculer la valeur du vecteur deplacement de chaque 
point de 1' image I2 a partir des valeurs des vecteurs 
deplacements des noeuds de la maille a laquelle il 
appartient, 

(b) - optimiser de maniere globale les valeurs de 
1' ensemble des vecteurs deplacement du modele selon une 
methode dif f erentielle, 

(c) - calculer un ecart E entre 1 ' image I2 et 1 ' image 
I2 pour chaque element fini ou maille, 

(d) - operer un maillage plus fin sur une fraction 
discrete de 1' ensemble des elements finis determinee 
selon un critere relatif aux ecarts E, et attribuer un 
vecteur deplacement a chaque nouveau noeud de maillage. 
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(e) - repeter les etapes (b) , (c) et (d) sur le modele 
d' elements finis obtenu au terme de I'etape (d) 
precedente, jusqu'a satisfaire un critere d' arret. 



5 2. Precede selon la revendication 1, caracterise en ce 
que, pour operer un maillage plus fin sur une fraction 
discrete de 1' ensemble des elements finis a I'etape 
(d) , on classe ledit ensemble des elements finis par 
ordre decroissant de leurs ecarts E et on subdivise les 

10 X premiers elements finis de ce classement en elements 
finis de taille inferieure, X representant une fraction 
predeterminee du nombre des elements finis de 
1' ensemble . 



15 3. Precede selon la revendication 1, caracterise en ce 
que, pour operer un maillage plus fin sur une fraction 
discrete de 1' ensemble des elements finis a I'etape 
(d) , on compare 1' ensemble des ecarts E calcules a 
I'etape (c) a un ecart seuil qui est fonction de la 

20 taille de 1' element fini considere, et on subdivise en 
elements finis de taille inferieure les elements finis 
dont les ecarts E sont superieurs a 1' ecart seuil. 



4. Precede selon I'une des revendications 1 a 3, 

25 caracterise en ce que ledit critere d' arret est un 

nombre predetermine d' elements finis constituant le 

modele d' elements finis, a atteindre au terme de 
1' etape (d) . 
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5* Precede selon I'une des revendica tions 1 a 3, 
caracterise en ce que ledit critere d' arret de I'etape 
(e) est satisfait lorsque les ecarts E - de I'ensemble 
des elements finis du modele obtenu au terme de I'etape 
(d) precedente sont inferieurs a un ecart seuil 
fonction de la taille de 1' elements fini considere. 

6. Precede selon I'une des revendications 1 a 5, 
caracterise en ce qu'on definit en outre, pour chaque 
image numerique Ii et I2, un ensemble de R images I- de 
niveau de resolution r et de luminance Y{ avec r 
prenant les valeurs (0,.,.,R-1) et i les valeurs 1 et 

2, les images ij* et I2 correspondant aux images 
numeriques Ii et I2, 

et en ce qu'on effectue les etapes (b) a (e) pour 
chaque niveau de resolution r, a partir du niveau r=R-l 
jusqu'au niveau r=0 • 

7. Precede selon la revendication 6, caracterise en ce 
que les ensembles de R images de niveau de resolution r 
sont obtenus par filtrage des images II et 12 suivant 
les deux directions x et y au moyen d'un filtre passe- 
bas de reponse impulsionnelle , chaque image l[ etant 
definie par la relation suivante: 

M M 

Y[(x,y)= X I]Yi(x-u,y-v)hX 

u=-Mv=-M 



10 



15 



avec M entier naturel. 
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8. Procede selon la revendication 1, caracterise en ce 
que la reponse impulsionnelle est definie de la 



maniere suivante: 



h;, = 4 avec sj; = 2B.sinc(27iB,n) = 2B^^^^^^ 
S liiB^n 



M 
n=-M 

B un entier naturel 



9. Procede selon I'une des revendications precedentes, 
10 caracterise en ce que les vecteurs deplacement initiaux 
sont des vecteurs nuls. 



10. Procede selon I'une des revendications precedentes, 
caracterise en ce que 1 ' ecart E entre 1 ' image I2 et 
15 1 ' image I2 pour chaque element fini e est defini par la 
relation suivante : 

E = ;^DFD^(x,y) 

(x,y)e€ 

OU DFD(x,y) = Y2(x,y) - Y,(x - ,y - d^) 

20 11. Procede selon I'une des revendications precedentes 
caracterise en ce que la formule d' interpolation pour 
calculer la valeur du vecteur deplacement d'un point P 
de coordonnees (x,y) dans 1' image I2 appartenant a 
1' element fini e de sommets Pi, Pj et Pk de coordonnees 

25 respectives {Xj,yi), (Xj,yj) et (Xk,yk) est la rraivante: 
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d(x,y)= Xi|/,(x,y).d(x,,yi) 
l=U,k 

ou V|/^ est une fonction de la forme 
fV|(x,y) =a, + p,x + yiy (x,y) ee 



5 12, Precede selon I'une des revendications 1 a 11, 
caracterise en ce que la methode dif f erentielle 
d' optimisation des vecteurs deplacement est la methode 
de Gauss-Newton • 

10 13* Procede selon I'une des revendications 1 a 11, 
caracterise en ce que la methode dif f erentielle 
d' optimisation des vecteurs deplacement est 1' extension 
de Marquardt de la methode de Gauss-Newton. 

15 14. Procede selon I'une des revendications precedentes, 
caracterise en ce qu'une contrainte de compacite est 
imposee sur chaque element fini au moment de 
1' optimisation des vecteurs deplacement du modele 
d' elements finis, ladite contrainte consistant a 

20 empecher la compacite de chaque element fini de tendre 
vers zero. 

15. Procede selon la revendication 14, caracterise en 
ce que la contrainte de compacite sur un element fini e 
23 de sommets Pi, Pj, Pk et de compacite C(Pi,Pj,Pk) est 
definie par la relation suivante: 



H/l(x,y) = 0 



(x,y) 
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C(Pi +dp^,Pj +dp.,Pk + dp^) > K*C(Pi,Pj,Pk) 

ou dpj»^Pj^tdp^ representent les vecteurs deplacement 

des sominets Pi, Pj, Pk au cours de I'etape 
d' optimisation, 

5 et K est un parametre de compacite. 

16. Precede selon la revendication 14 ou 15^ 
caracterise en ce que 1 ' optimisation des vecteurs 
deplacement sous contraintes sur les elements finis est 

10 resolue par la technique dite du Lagrangien augmente.. 

17. Precede selon la revendication 16, caracterise en 
ce que les contraintes sont employees sous une forme 
linearisee dans la technique dite du Lagrangien 

15 augmente. 

18. Procede selon I'une des revendications 12, 13 ou 
17, caracterise en ce que les methodes d' optimisation 
des vecteurs deplacement utilisent une technique LDL^ 

20 profil. 

19. Application du procede d' estimation de mouvement 
entre deux images numeriques selon I'une des 
revendications 1 a 18 pour le codage d' images 

25 caracterisee en ce que la subdivision f ractionnaire du 
maillage operee a I'etape d) du procede d' estimation de 
mouvement est associee a un arbre partiellement 
quaternaire dans lequel chaque niveau represente un 
niveau de maillage et chaque noeud represente un 



wo 00/14969 




PCT/FR99/02076 



26 

triangle du niveau donne, et en ce qu'est genere un 
train binaire decrivant le dit arbre . 

20. Application du precede d' estimation de mouvement 
5 entre deux images numeriques selon la revendication 19 

caracterisee en ce que les vecteurs deplacement 
associes a chaque noeud dudit arbre sont codes de 
maniere dif f erentielle par rapport aux vecteurs 
deplacement de leur noeud pere lorsque ce dernier 
10 existe et sont ordonnances dans ledit train binaire 
suivant un parcours en largeur dudit arbre. 

21. Application du precede d' estimation de mouvement 
entre deux images numeriques selon I'une des 

15 revendications 1 a 18 pour le decodage d' images 
caracterisee en ce que la subdivision f ractionnaire du 
maillage operee a I'etape d) du procede d' estimation de 
mouvement est associee a un arbre partiellement 
quaternaire dans lequel chaque niveau represente un 

20 niveau de maillage et chaque noeud represente un 
triangle du niveau donne, et en ce que ledit arbre est 
genere a partir d'un train binaire de donnees codees 
decrivant ledit arbre. 

25 22. Application du procede d' estimation de mouvement 
entre deux images numeriques selon la revendication 21, 
caracterisee en ce que les donnees codees se rapportant 
a un meme niveau de 1' arbre sont regroupees ensemble 
dans le train binaire de maniere a generer 1' arbre 

?3 niveau par niveau au fur et a mesure de la lecture du 
train . 
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23. Application du precede selon I'une des 
revendications precedentes a au moins un des domaines 
appartenant au groupe des domaines suivants : 
5 - compression de sequences d' images ; et 

compression de donnees dans des espaces de dimension 

superieure a 2. 
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